NeurIPS 2018 | 腾讯AI Lab参与提出基于判别力的通道剪枝算法，让模型无损压缩
感谢阅读腾讯AI Lab微信号第60篇文章。AI领域顶会 NeurIPS 正在加拿大蒙特利尔举办，腾讯AI Lab实验室每日将深度解读一篇入选论文，今天是第4篇。Enjoy！
NeurIPS (Conference on Neural Information Processing Systems,神经信息处理系统进展大会)与ICML并称为神经计算和机器学习领域两大顶级学术会议。今年为第32届会议，将于 12月3日至8日在加拿大蒙特利尔举办。
腾讯AI Lab第三次参加NeurIPS，共20篇论文入选，位居国内企业前列。会议期间，我们选取7篇论文进行深度解读。今天解读论文为：Discrimination-aware Channel Pruning for Deep Neural Networks。
论文链接：
https://papers.nips.cc/paper/7367-discrimination-aware-channel-pruning-for-deep-neural-networks
在这篇由华南理工大学、阿德莱德大学、德州大学阿灵顿分校和腾讯AI Lab合作完成的论文中，作者提出了一种基于判别力的通道剪枝算法DCP，能在保持模型的识别精度无损的前提下，显著降低模型的计算复杂度，以下为论文详细解读。
该研究的目的是通过提出新的通道剪枝算法，以提升深度学习模型的运行效率，同时保持精度无损。本文提出了一种基于判别力的通道剪枝算法（discrimination-aware channel pruning, DCP），通过在网络结构中的多个位置插入额外的损失项并对模型参数进行微调，以提升模型中间层的判别力，然后再基于分类损失项和特征图回归损失项，逐层地进行通道剪枝，从而实现模型的无损压缩。
深度学习模型压缩是深度学习领域中一个颇具挑战性的研究难题。深度学习模型往往参数量大，计算复杂度高，这些不足严重影响了深度学习模型的运行效率，导致其运行过程中需要占用大量内存资源并耗费较长时间。针对这一问题，研究人员提出了多种通道剪枝算法，以降低模型的计算复杂度，但是如何选择对模型中的哪些通道进行删减，以降低模型压缩后的精度损失，仍是一个开放性的问题。现有方法抑或收敛困难，抑或过于强调拟合原模型的特征图而忽略了各个通道在判别力上的差异性。
针对上述问题，本文提出了一种新的通道剪枝算法DCP，综合考虑各个通道的判别力和对特征图的拟合能力，以进行通道选择。具体地，DCP算法将网络结构中待剪枝的各个卷积层分成多组，在每组的末尾引入一个BatchNorm-ReLU-AvgPooling-Softmax的单元，并基于该单元的输出计算判别力损失项
基于预训练模型，DCP算法将通道剪枝的过程分为多个阶段来进行。在第p个阶段中，DCP算法首先基于原始的最终分类损失项
实验结果：在下表的ILSVRC-12图像分类任务中，DCP算法对ResNet-50模型进行通道剪枝，实现了2倍的加速效果。与其他通道剪枝算法相比，DCP算法在Top-1分类精度上的损失为1.06%，Top-5分类精度损失0.61%，均优于其他算法。
在下表的LFW人脸识别任务中，DCP算法通过对SphereNet模型进行通道剪枝，在3.66倍提速下识别精度提升0.1%，计算复杂度显著低于FaceNet、DeepFace、VGG等复杂模型。
精彩解读回顾